Mage-VL-Cowork：从进化式 Harness 学习混合计算机使用的完整训练配方
🧭 计算机使用智能体 · 多阶段课程训练
Microsoft Mage Team
4B混合计算机使用智能体，通过五阶段课程与技能化数据生成，在OSWorld-Verified达66.0%同尺寸SOTA
📌 工作参考价值（4 点）
- 技能条件化数据生成可迁移：用「技能定义 + 可复用工作流 + 应用特定 preparer」替代逐任务构造，在电商 GUI 智能体（购物车、下单、订单查询等）中可显著降低合成数据成本，并规模化覆盖长尾技能。
- 五阶段课程（midtraining → SFT → RL）值得借鉴：先做通用多模态对齐，再注入任务完成能力，最后用 RL 优化决策质量；对训练面向搜索/推荐业务的 Agent 策略有直接参考价值。
- 进化式教师 harness 提供高质量监督信号：不直接蒸馏默认大模型，而是为不同训练阶段定制教师策略，有助于提升小模型轨迹质量，可复用于蒸馏电商场景的 4B/7B 级端侧助手。
- 小参数模型也能逼近前沿性能：4B 在 OSWorld-Verified 达 66.0%，说明数据与课程设计比单纯堆参数更关键，对需要在端上部署低成本 Agent 的业务是积极信号。
递归自改进的 Agent 编排：自博弈与技能内化循环
🧭 多智能体编排自博弈 · 技能撤除 ★ 深度解读
The Chinese University of Hong Kong, Shenzhen, China · Fudan University, China · University of Illinois Urbana-Champaign, USA · Tsinghua University, China · National University of Singapore, Singapore
通过双层递归自博弈，用技能撤除下的任务可学习性作奖励，实现零技能部署并全面超越基线
📌 工作参考价值（4 点）
- 技能生命周期管理：用“with vs without skill”成对对比估计技能净贡献，而非单看成功率或单一噪声分数，避免在课程分布变化时误判；可用 Bayesian 后验做撤除决策，设定预期损失上限，实现技能自动退役。
- 课程设计：在 RL 训练中，奖励任务在关键组件/技能被移除后仍保持结果多样性（learnability），而不是奖励绝对难度或失败，可避免优势坍塌并鼓励泛化；该思想可迁移到生成式推荐或多 Agent RAG 的任务采样。
- 训练效率：复用同一组 rollouts 同时做策略更新和技能评估，不增加额外采样成本；随机隐藏部分上下文可让模型提前适应零技能部署，逐步摆脱对昂贵工具或提示的依赖。
- 双层时间尺度架构：外层定期评估并撤除不再贡献的工具/提示，内层持续用自博弈优化编排策略，适合电商搜索推荐中多 Agent 流程的持续自我改进与降本。
零数据自博弈预训练
🧭 自博弈合成数据预训练
Independent Researcher · Tel Aviv University · Stanford University · LAPTh, USMB
自博弈零数据预训练用生成器-学习器对训，以图灵机程序生成数据，零样本损失随算力可预测缩放
📌 工作参考价值（4 点）
- 自博弈课程生成器-学习器架构可迁移到搜索/推荐中的难例挖掘：让 query 或候选生成器专门产出当前排序/召回模型易错的边界样本，替代固定人工负样本或模板，训练目标随模型能力动态调整。
- 双模型分离（生成器 RL + 学习器 CE）比单一模型自生成训练更稳定，适合生成式推荐中的 Semantic ID 或 query 改写：生成器负责探索新 token 组合，学习器只做密度估计。
- “用算力换人类知识”的思路对数据稀缺场景有参考价值：如果领域内可定义可执行的结构化生成器（如商品标题语法、用户行为序列模拟器），可先小规模验证合成数据的零样本收益是否随算力可预测。
- 注意通用图灵机搜索空间过大，直接工业落地成本高；业务上需把程序空间约束为领域特定 DSL 或模板，否则大量算力浪费在无效结构上。
EAGER：电商搜索点击商品到查询的生成式推荐两阶段框架
🧭 生成式查询推荐 · GRPO 对齐 ★ 深度解读
Alibaba International Digital Commerce Group
两阶段生成式 I2Q 框架：SFT 课程+自蒸馏扩意图覆盖，GRPO 混合奖励对齐点击与业务规则
📌 工作参考价值（4 点）
- 多源 intent-ordered 监督构造：把点击 query、post-click search query、LLM 扩展 query 拼成弱有序 label，并用同一个 PARM 给 LLM query 打分排序；可复用到电商搜索、push 文案等数据稀疏但需要覆盖多意图的生成任务。
- 课程学习拆法值得抄：I2Q → Enhanced I2Q（加 rationale）→ UI2Q → Enhanced UI2Q。论文里 rationale 最大提升 APD（多样性），用户上下文最大提升 SoftHR@1（相关性），业务上可据此分配数据/训练资源，而不是混训。
- GRPO hybrid reward：规则 reward 管格式、数量、流畅、重叠、安全黑名单；PARM 用生成式 yes/no 的 1-p(no) 作为点击偏好 reward。PARM 同时用于离线数据筛选和 RL reward，保持训练一致，且 position-aware 采样去掉位置偏差；这套可直接迁移到生成式 query suggestion / 广告文案 RL。
- 部署上作为第三条召回通道，与 log-based、dense retrieval 共用 ranker，长尾补覆盖、头部同台竞争；vLLM 独立多采样生成 10 条，VRAM 压力低于 beam search。
NeoHorse-1：路由 Harness 驱动的 Agentic 后训练与递归自改进
🧭 Agent 后训练 · 路由驱动的课程与蒸馏
TokenRhythm
通过路由 harness 记录能力需求并构建三阶段课程与蒸馏，实现 4B/9B agent 模型的递归自改进后训练闭环
📌 工作参考价值（4 点）
- 利用线上多模型路由日志自动构建训练集：记录每次请求的预测能力需求、选择的模型档位和交互轨迹，形成天然的难度标签；电商/广告场景中可在低成本小模型与大模型路由架构上持续积累数据，定向提升小模型能力。
- 三阶段课程由路由信号组织，先易后难进行 SFT，再衔接 on-policy distillation；相比直接 SFT，让学生模型在自身生成分布上被教师纠正，可稳定提升 agent 工具调用和推理一致性，适合推荐/搜索 agent 的复杂指令跟随。
- 数据准入的多维评估（结构校验 + 六维语义评分 + 子场景标注）值得借鉴：在构建推荐/搜索 agent 的交互数据时，过滤低质量轨迹，避免污染训练集，尤其对工具调用格式和上下文依赖敏感的场景。
- 建立 evaluation→mixture allocation 的闭环：用评测反馈动态调整下一轮训练数据的任务配比，适合多任务持续迭代的电商 Agent 平台（如商品推荐、广告文案、客服工具混合）。
人脸伪造中的多工具图像编辑归因
🧭 多工具图像编辑归因与伪造检测
中国科学院计算技术研究所 · 中国科学院大学
面向多工具编辑人脸图像，提出DPEC方法结合空间-频域特征与课程学习，实现多工具归因
📌 工作参考价值（4 点）
- 多工具痕迹解耦：在处理多行为叠加信号（如搜索、点击、收藏、购买）时，可借鉴空间与频率双分支设计，用局部感知特征分离不同来源的模式。
- error-based curriculum learning：按预测难度渐进训练，可迁移到多任务学习或难易样本挖掘，例如广告转化率预估中先学简单样本再逐步加入难样本，稳定收敛。
- 合成数据集构建：通过组合基本操作模拟真实多步编辑，可用于构建多行为归因评测集或用户行为序列模拟。
- 频域线索：在电商商品图质量检测或主图篡改识别中，引入频域特征可增强对压缩/编辑痕迹的识别能力。
终端 Agent 的环境进化训练方法
🧭 终端 Agent RL · 离线环境课程
Hunyuan Team, Tencent
提出离线环境进化，沿多轮目标派生的三个难度方向逐步提升终端环境难度，并通过多 Agent 回路实现，提升终端 Agent RL 效果。
📌 工作参考价值（4 点）
- 在电商/推荐 Agent 训练中，可将“用户任务/交互环境”当作可进化对象：把多轮任务目标显式展开，提取难度轴（如约束数量、工具噪声、状态分支），离线用 LLM 多 Agent 生成逐渐变难的任务集，不用每次等在线 rollout，降低数据成本。
- 用多 Agent 回路工程化合成环境：一个 Agent 负责提出 harder case，另一个验证可解性与难度，再一个做标注/清理，保证训练集中困难样本比例与模型能力匹配，可复用到导购、搜索、客服 Agent 的场景生成。
- 训练调度用“分代课程”：将进化后的环境按 generation 分块，训练时按模型 checkpoint 表现逐步解锁下一代，避免一次性给过难/过易环境；对应推荐 Agent 的 RL 训练可做 curriculum。
- 若做用户模拟器/环境生成，优先加入 off-policy 进化：不再依赖当前策略轨迹，能从历史或弱模型数据产生持续学习信号，适合业务环境噪声大、策略迭代快的场景。
MOSS-VL 技术报告：面向实时交互的视觉语言模型
🧭 多模态实时交互模型
Fudan University
开源视觉语言模型 MOSS-VL 通过门控交叉注意力实现边看边说，实时主动交互能力领先
📌 工作参考价值（4 点）
- 架构借鉴：将视觉 token 移出解码序列，仅通过门控交叉注意力注入视觉信息，可显著降低首 token 延迟，适合电商直播助手的实时交互场景
- 训练策略：合成交互语料库显式监督模型何时发言、何时沉默、何时修正，可借鉴用于训练主动提醒型电商客服或直播导购 Agent
- 课程学习：实时特定训练集中在轻量最终阶段，避免破坏离线基础能力，可用于多模态模型增量训练，降低工程成本
- 主动行为：在 OmniMMI Proactive Alerting 上 66.0 vs 37.5 的性能表明模型能主动捕捉关键事件，可应用于商品状态监控、用户行为异常提醒等场景
LittleLearner：基于小学课程受控知识暴露的语言模型
🧭 受控课程预训练 · 知识边界与注入评估
MPI-IS · Ellis Institute · ETHZ
构建88B token K-5语料并训练5B模型，提供研究知识边界与注入的受控沙盒
📌 工作参考价值（4 点）
- 借鉴课程过滤思路构建电商领域语料：用分类器或规则明确排除超出业务范围（如非在售品类、无关知识）的文本，降低模型幻觉与无关能力浪费。
- 评估知识边界可指导业务 LLM 上线：设计类似“是否知道某品类/政策”的探测题，判断模型是否具备真实业务知识，避免依赖 RAG 或微调误以为能注入新能力。
- 论文发现 post-training 与 ICL 只能更好地利用已有知识，不能提升 out-of-scope 能力。对电商 Agent 的启示：新品类或新政策若完全未在预训练中出现，仅靠检索或少样本提示可能无效，需考虑持续预训练或数据回灌。
- 低成本沙盒模型适合快速验证训练策略：业务中可先训一个小规模受控模型做消融，验证数据配比、课程顺序或知识注入方法，再迁移到大模型。
元策略：基于可执行LLM策略的生成式排序
🧭 LLM策略生成· Generator-Evaluator架构 ★ 深度解读
Taobao & Tmall Group of Alibaba · Wuhan University · The University of Hong Kong · University of Cambridge · Alibaba
用LLM生成结构化排序策略而非物品序列，通过生产路径重放与蒸馏实现零延迟个性化排序
📌 工作参考价值（4 点）
- LLM生成策略而非列表：用带类型JSON控制多目标权重、内容类型偏好等，通过编译器注入现有Generator，避免直接生成物品序列带来的集成难题。电商/广告混合流可直接复用这一思路，将LLM作为策略层，不侵入精排队列。
- 生产路径重放训练：重放真实请求日志，让LLM策略与现有Generator在同一Evaluator下原子竞争，反馈信号来自当前生产栈而非用户模拟器。推荐系统可借鉴此方法，低成本获得高保真离线RL训练环境。
- 自竞争课程缓解策略坍缩：将LLM频繁输出的编译后策略冻结为新Generator加入竞争池，迫使策略持续探索。在推荐、广告出价策略优化中，可照搬此机制防止模型退化为少数极端组合。
- 评估器路由的奖励增强在线蒸馏：对每个请求，用Evaluator选择最优教师，结合教师token差异与自身GE奖励进行蒸馏，将4B策略压缩至0.8B。多目标排序模型压缩中，可按此方式保留教师间的互补性与在线分布匹配。
任务条件流匹配：多语言文本嵌入的自适应平衡训练
🧭 多语言嵌入任务自适应训练范式
LINGO Research Group, Indian Institute of Technology Gandhinagar
提出任务条件流匹配，对翻译任务用流匹配，其他任务用匹配目标，结合教师引导与课程学习，多语言嵌入达 SOTA
📌 工作参考价值（4 点）
- 多任务嵌入微调避免冲突：在处理翻译、检索、分类等混合任务时，可借鉴 TCFM 对不同任务家族采用不同的训练目标，例如翻译用流匹配（适合连续对齐），检索/分类仍用对比学习/交叉熵，避免单一目标造成性能跷跷板。
- 教师引导与课程学习稳定适应：通过冻结原始模型做教师，加蒸馏损失保持旧知识，再配合三阶段课程（先教师引导，再逐步引入新任务），可有效防止灾难性遗忘，适用于业务中持续更新多语言嵌入模型的场景。
- 多语言搜索/商品检索：若业务涉及跨语言商品搜索、query 理解，可借鉴 TCFM 对平行语料（翻译对）使用流匹配直接对齐表示，提升多语言 embedding 的一致性，而不损伤其他任务指标。
- 工程实现参考：流匹配模块轻量，可与对比学习头并存，通过 task-conditioned 开关选择路径；课程学习的分阶段训练策略可直接嵌入现有 ML pipeline，无需大幅改动架构。
跨域混合OPD框架：训练通用搜索Agent而不牺牲通用智能
🧭 搜索Agent强化学习与多域蒸馏混合优化 ★ 深度解读
Tencent Yuanbao Team · Shanghai Innovation Institute
结合搜索RL与多领域专家在线策略蒸馏(OPD)，同步优化搜索能力与通用推理，有效缓解对齐税
📌 工作参考价值（4 点）
- 混合训练避免能力退化：在业务中对搜索/推荐Agent做专项RL（如对话式推荐、多步检索）时，可借鉴混合批次设计——在RL损失中混入通用任务，用教师模型的token级KL惩罚保持通用能力，避免模型变成只会搜索的“偏科生”。
- 多域专家蒸馏优于单一教师：电商场景中可训练多个领域教师（如商品知识、促销文案、售后规则），通过在线策略蒸馏将领域知识注入搜索Agent，比单一通用教师更有效，且不会覆盖学到的搜索策略。
- 难度课程学习提升教师质量：为教师模型构造难度分层（基于Pass@k统计），先从中等难度样本学习密集信号，再扩展到全谱困难样本，能显著提升教师对困难问题的教学能力，这一策略可直接用于业务中领域专家模型的训练。
- 工具交互协议与奖励设计：采用XML格式工具调用协议和统一的验证器（规则、RM、代码执行），可迁移到需要调用商品搜索、优惠查询等API的电商Agent中，并利用GRPO优化工具使用策略。
宪法性中期训练：内容存在驱动对齐增益
🧭 中期训练对齐干预与持久性 ★ 深度解读
University of Oxford · Geodesic Research · Oxford Internet Institute
仅在中训阶段插入少量宪法性文本，即可获得经下游微调后仍持久的对齐泛化收益，且能力无损
📌 工作参考价值（4 点）
- 在推荐/对话模型的预训练后、SFT 前，插入少量公司价值观/安全准则文档（几百 M tokens），可大幅提升模型对规则的遵守和跨场景泛化，且不会被后续业务微调覆盖。
- 文档设计不必过度追求课程排序或显式推理块的精细结构；原则性内容的“存在”本身是主要驱动力，降低工程复杂度。
- 这种干预几乎零能力成本，甚至在常识推理等任务上有小幅提升，适合作为标准 SFT 流水线的补充步骤。
- 对齐效果在需要主动对抗上下文压力的场景（如多轮交锋、价值冲突）较脆弱，业务中若涉及此类动态对抗，仍需结合后训练或额外安全机制。
面向推荐的离散扩散语言模型
🧭 生成式推荐 · 离散扩散语言模型 ★ 深度解读
The Hong Kong Polytechnic University · Tencent Inc.
提出离散扩散替代自回归生成，通过迭代去噪和协同感知 token 化实现更优推荐
📌 工作参考价值（4 点）
- 推荐生成范式转换：在需要生成商品集合或预测下一个交互对象的场景中，考虑用离散扩散替代自回归。扩散的迭代去噪可纠正早期错误，且双向建模更能捕捉 item 间的全局依赖，尤其适用于行为顺序含有噪声的电商推荐。
- 协同感知 tokenization 设计：借鉴 CAST 的多跳随机量化思路，用 GNN 提取用户/商品的协同信号，通过温度调控的多码本随机映射生成离散 token，可保留协同相似性，与 LLM 集成时比单纯 ID 或文本摘要更有效。
- 课程式微调策略：在 LLM 推荐微调中，可先采用 item 级掩蔽对齐（同时掩蔽 token 和文本描述）来建立离散 token 与语义的对应，再过渡到 token 级掩蔽并引入偏好对比损失，逐步从语义理解迁移到推荐任务。
- 投票式推理稳定化：在扩散推理阶段，不丢弃中间预测，而是累积各步 log-prob 进行投票，对稳定位置早停，在不确定性高的位置融合更多信息，可提升推荐生成的鲁棒性和一致性，也可用于 interpretable 推荐或多轮交互式推荐。
通过关联递归记忆扩展大语言模型上下文
🧭 递归记忆增强的 LLM 长上下文扩展
MBZUAI · Lomonosov Moscow State University · Weizmann Institute of Science · Institute for Advanced Study, Princeton · London Institute for Mathematical Sciences
提出 ARMT 训练方案，在长文本任务中用 30% 更少计算量保持性能并泛化到更长序列
📌 工作参考价值（4 点）
- 长序列用户行为建模：在电商推荐中，可利用 ARMT 以恒定内存处理超长用户交互序列（如跨月行为），突破原生 Transformer 的上下文限制，且 FLOPs 降低 30%，适合线上 RT 服务。
- 合成数据与课程学习策略：面向特定领域的 LLM 微调（如商品长描述生成、多文档促销文案），可借鉴其合成长文本 + 逐步延长的课程学习方案，稳定提升长上下文泛化。
- 选择性记忆集成：在推荐精排或生成式推荐模型中，仅部分中间层插入关联记忆模块，平衡额外计算开销与长程依赖捕捉，可作为模型架构渐进增强的思路。
- 分布外长度泛化：训练时使用有限长度数据，推理时自动泛化到更长序列，对广告竞价中实时拼接的多源长特征流处理有参考意义。
最大化GRPO信号：面向困难推理的自适应前缀控制
🧭 RL训练方法 · 自适应难度调节
Independent Researcher · thinkdense.ai
自适应前缀控制动态维持困难问题的50%成功率，最大化GRPO梯度信号，大幅提升推理准确率
📌 工作参考价值（4 点）
- 在电商搜索/推荐中使用GRPO训练LLM策略时，常遇到困难样本组内全失败导致梯度为零，可借鉴AdaPrefix：为困难样本预先拼接部分正确输出（如人工标注的关键步骤）作为前缀，提高组内成功概率，避免梯度消失。
- 借鉴“成功率50%噪声最大”的思想，在在线学习过程中动态调整任务难度（前缀长度），使模型始终处于最利于学习的“挑战区”，可应用于动态负采样或课程学习排序中。
- 工程实现极为轻量：仅需在数据预处理中拼接前缀token，并在计算loss时mask掉前缀部分，训练器无需改动，适合快速实验和部署。
- 对于多步推理的Agent训练，可在初始阶段给予部分正确推理链作为引导，随着训练逐步撤除，使Agent最终独立完成复杂任务，缓解稀疏奖励问题。
利用LLM标注训练数据扩展稠密检索：电商赞助搜索的结构化挖掘与渐进课程
🧭 稠密检索 · LLM标注 · 课程学习 ★ 深度解读
Walmart Global Tech
用多通道检索分歧和LLM级联生成240M+结构化样本，配合三阶段课程训练，使稠密检索在Walmart线上NDCG@10提升5.1%
📌 工作参考价值（4 点）
- 多通道分歧挖掘正负样本：利用词典/BM25/现有ANN系统间的低重叠（13%-15%），自动生成easy positives（三通道共识）、hard positives（词汇系统命中但ANN遗漏）和hard negatives（仅单通道高分但无关），无需人工标注。任何有多路召回的业务可直接套用。
- 校准级联减少标注成本：Cross-Encoder(184M) → LoRA 2B LLM → LoRA 8B LLM，每类别做isotonic calibration，高置信度提前接受，含糊样本升级，在保持89.1%人类一致率下节省约50%计算。可迁移到需要大规模打分/标注的场景，尤其适合用成本换取准确率权衡。
- 三阶段渐进课程设计：Stage1 BCE训练“容易正+随机负”打基础，Stage2 MNR引入hard negatives学排序，Stage3 Triplet用token-similar negatives学语义区分。直接混合训练比课程低9.5% NDCG@10；必须严格按BCE→MNR→Triplet顺序，以BCE结尾会毁掉细粒度表征。
- 硬标签远监督代替软蒸馏：LLM级联离线生成hard labels，缓存复用，升级独立，不增加线上延迟。适合需要解耦标注与训练的场景，但需容忍~11%的标签噪声；文中指出当数据量足够大时深度模型可容噪改善。
从受训者到训练师：LLM 自动设计多智体强化学习训练环境
🧭 LLM 辅助多智体强化学习环境自动设计
LARK, HKUST (GZ) · University of Cambridge · HKUST
让当前策略 LLM 分析失败轨迹并自动提议下一阶段训练环境配置，小模型超越大模型
📌 工作参考价值（4 点）
- 自适应环境工程：借鉴 LLM-as-Environment-Engineer 范式，在推荐系统或搜索决策 RL 训练中，将用户行为日志、推荐失败案例作为上下文，让模型自动调整仿真环境参数（如用户偏好分布、商品流行度），实现无需手工调参的课程学习。
- 失败驱动优化：验证了失败轨迹是最有效的环境更新信号；在业务 Agent 开发中，可周期性收集策略失败案例并结构化描述，让 LLM 生成下一次迭代的环境或训练数据修正，聚焦弱点针对性训练。
- 小模型超越大模型：发现当前 RL 微调后的 checkpoint 比原始基模型更适合做环境诊断；在资源受限的业务场景，可采用领域微调的小模型进行训练环境设计，成本更低且效果更好。
- 上下文摘要工程：文中使用的结构化总结（策略行为统计 + 失败案例 + 环境统计）可作为提示设计模板，用于任何需要 LLM 根据系统状态做决策的场景，如广告投放策略的自动调整。
影响引导的自我进化提升推理能力
🧭 自我进化训练 · 影响引导课程学习 ★ 深度解读
Yale University · Stanford University · University of Chicago · Toyota Technological Institute at Chicago · University of California, San Diego
提出INFUSER框架，用影响分数指导生成器与求解器协同进化，无需外部教师，大幅提升数学和通用推理性能。
📌 工作参考价值（4 点）
- 影响分数作为合成数据质量度量：使用开发集梯度与合成样本引起的模型更新方向的余弦相似度来评估单个样本的训练价值，可借鉴到推荐系统的样本筛选或Agent领域的数据蒸馏，替代简单的难度或困惑度指标。
- 生成器-求解器协同进化范式：将生成训练数据与模型训练建立成双层博弈，让生成器根据求解器当前能力实时调整输出，这类似推荐系统中召回与排序的联合优化或Agent多体协作的场景，可以通过更小的开发集引导数据生成远离分布外噪声。
- DuGRPO稳定连续奖励训练：针对影响分数这类连续且带噪声的奖励，提出组内+批内双重归一化，避免低方差组的噪声放大和高方差组的梯度主导。在推荐模型的强化学习微调（如GRPO）中，当奖励函数从离散点击变为连续业务指标时，可直接复用该归一化技巧。
- 文档池作为可持续课程来源：利用无结构化文档（如教材）作为生成器输入，无需昂贵的人工标注，结合影响引导就能自动形成难度适中的课程。电商场景中可用商品描述、用户评论等非结构化文本，生成多模态问题-答案对，持续提升对话Agent或推荐解释生成的质量。
揭秘LLM训练中的数据组织策略
🧭 LLM数据排序与课程学习 ★ 深度解读
Nanyang Technological University · Microsoft Research · The Hong Kong University of Science and Technology
复用预计算样本得分，提出四项数据组织指导原则，实现零额外开销的LLM训练性能提升
📌 工作参考价值（4 点）
- 复用数据选择阶段的样本得分：在推荐模型或Agent训练中，若已有数据质量/难度打分，可直接用于排序训练样本，几乎零额外成本，提升模型效果。
- 数据起始与结尾的边界锐化：训练初期喂低分（简单）样本稳定优化，后期喂高分（高质量）样本冲刺性能，可迁移到生成式推荐或结构化Agent训练的微调阶段。
- 循环调度防遗忘：通过折叠式排列让模型周期性回顾全谱样本，避免灾难性遗忘。对于需要维持多任务能力的Agent（如同时做推荐、对话、工具调用），可在持续学习管线中采用类似交错策略。
- 局部多样性注入：在保持全局课程趋势的前提下，对相邻小批次进行打乱，增强梯度多样性，提高泛化性。在电商搜索或推荐重排序训练中，可避免同质化样本集中导致的过拟合。
探索自主智能体数据工程实现模型专业化
🧭 Agent 驱动的数据工程与模型专业化 ★ 深度解读
Zhejiang University · Platform and Content Group, Tencent
将数据工程形式化为端到端闭环任务，让LLM自主策划训练数据以驱动学生模型专业化，在三个领域取得显著增益
📌 工作参考价值（4 点）
- 用 Agent 闭环自动化领域微调数据生产：借鉴 Iterative Agent 架构，将数据策展建模为 Draft→Debug→Repair→Improve 迭代循环，利用学生模型在公开验证集上的性能作为反馈信号，贪心地选择历史最佳提交，可复用于电商推荐场景的指令数据合成（如商品描述生成、搜索词改写）。只需提供任务描述、种子池和 API 预算，无需人工设计数据流水线。
- 多样性比质量更依赖迭代：分析显示，迭代主要提升生成数据的多样性（instruction/response diversity），而响应质量提升有限。在构建商品/店铺推荐数据时，可重点通过迭代扩展问题覆盖范围，避免重复生成高难度但同质化的样本。
- 用 Greedy Public-Score Selection 提升鲁棒性：由于合成数据引入高方差，单次提交可能性能骤降。采用贪心策略保留公开集上历史最佳提交，能显著减少灾难性遗忘与波动，这一简单方法可直接用于 Agent 驱动的数据优化管线。
- 警惕 LLM 的数据量保证缺失与格式处理陷阱：实验显示主流 Agent 普遍缺乏对最终数据集大小的主动校验，且在处理 LaTeX/代码等复杂格式时大量样本被过滤。在生成电商知识问答数据时，务必在 Agent 工作流中显式加入数量检查和格式补全模块，必要时限制单次数据生成逻辑的复杂度，避免 API 输出截断。
噪声环境下行动学习：通过带噪交互增强智能体鲁棒性
🧭 Agent 鲁棒训练 · 噪声注入与课程调度 ★ 深度解读
National University of Singapore · Meituan · Tsinghua University · Tianjin University · University of Science and Technology of China
在 Agent RL 训练中模拟用户与工具侧噪声，结合混合轨迹与课程调度，显著提升现实噪声下的性能与泛化能力。
📌 工作参考价值（4 点）
- 在训练电商客服或推荐 Agent 时，可人工构造模糊/不一致/冗余的用户指令，以及工具返回错误、不完整或误导信息，让模型在训练中就接触真实噪声模式。
- 采用混合轨迹训练：每 batch 中保留一部分干净轨迹，部分加入噪声，并在组内分别归一化优势，避免噪声样本主导梯度更新。
- 按性能差距（∆）动态调整噪声：当模型在噪声与干净环境下的成功率差低于阈值时，增大噪声比例与难度，形成平稳的课程学习，防止初期训练崩溃。
- 即使最终只关心干净环境下的表现，这种训练仍可作为隐式数据增强，提升 Agent 的泛化推理与纠错能力，在标准 benchmark 上也能获得稳定增益。
SCRL：子问题课程强化学习实现LLM推理细粒度信用分配
🧭 课程RL · 子问题分解与信用分配 ★ 深度解读
LeapLab, Tsinghua University · Qiuzhen College, Tsinghua University
通过可验证子问题构建难度课程，结合子问题级归一化把部分推理进展转化为细粒度学习信号，显著提升困难数学题的RL训练效率
📌 工作参考价值（4 点）
- 多步推理任务的训练范式：当业务问题可分解为可独立验证的子步骤（如电商长链决策、多轮Agent交互），可借鉴子问题课程+进度感知奖励校正，将稀疏最终奖励转化为密集的中间信号，避免梯度死区。
- 细粒度信用分配：子问题级归一化在每个子步骤位置独立计算优势，再映射到回答 span 的 token，无需额外奖励模型或过程标注。可直接用于多步推荐对话或规划模型，为每个中间决策分配细粒度学习信号。
- 混合训练保持分布一致性：采用一半课程 rollout、一半原始 rollout 的混合训练，防止 prompt 不匹配，保证模型在推理时能处理原始问题，适合在线 on-policy 训练场景。
- 降低生成器依赖：实验表明即使使用较弱模型生成子问题，SCRR 依然有效，仅需有参考解即可分解，不要求完美构造，工程实现成本低。